Herzog gia nhập quân đội Anh trong chiến tranh thế giới II, hoạt động chủ yếu ở Đức như là một chỉ huy của xe tăng trong Quân đội Vũ trang.[2] Ở đó, ông được đặt biệt danh là "Vivian" suốt đời bởi vì Anh không thể phát âm tên "Chaim". Một người lính Do Thái đã tình nguyện rằng "Vivian" là từ tiếng Anh tương đương với "Chaim"</ref>. Được đưa vào Quân đoàn Tình báo (Anh Quốc) vào năm 1943 và tham gia giải phóng một số trại tập trung của Đức Quốc xã cũng như xác định một người lính Đức bị bắt làm Heinrich Himmler. Ông rời quân đội năm 1947 với cấp bậc Thiếu tá.